Ông sinh quán ở Bến Tre nhưng lên Sài Gòn làm ăn từ nhỏ. Ông còn có các tên gọi: Ba Lê, Sáu Phận,Ông Sáu Nam Vang. Lúc trẻ, ông chăn vịt chạy đồng khắp miền đồng ruộng Nhà Bè, Cần Giuộc, Cần Đước, Gò Công, nhờ đó học võ ở nhiều thầy và sau làm thầy dạy võ gần cầu Rạch Đỉa, làng Tân Quy, Nhà Bè, kiêm nghề bảo hiểm bình dân cho các chủ ghe thương hồ trên kinh Cây Khô, ngay cửa ngõ Sài Gòn. Ông được miêu tả là người nghiêm nghị, ít nói, nhưng hòa nhã, thân thiện, lạc quan và kiên trì, tài đức song toàn.

Ông xưng "anh chị" trong giới giang hồ ở Chánh Hưng, Chợ Lớn; trong đám "em út" có Bảy Viễn (Lê Văn Viễn), Mười Trí (Huỳnh Văn Trí), Hai Vĩnh (Mai Văn Vĩnh), Bảy Môn, Năm Hà (Dương Văn Hà) … sau này phần lớn đều theo kháng chiến chống pháp.

Ông nổi tiếng là tay giang hồ hảo hớn. Do uy tín trong giới anh chị giang hồ, ông từng được mời làm bảo kê bến xe Tây Ninh - Nam Vang một thời gian. Ông được xem là thủ lĩnh của giới lục lâm thảo khấu Nam Kỳ bấy giờ.